Quan Vũ sinh thời có hai người tình, hai người vợ. Nhưng biên tình sử của ông vô cùng gian nan, trắc trở, phải nói là buồn khổ vô cùng. Tuy nhiên, hai người vợ này cũng để lại cho Quan Vũ 4 người con: Quan Bình, Quan Hưng, Quan Phụng và Quan Sách. Quan Bình theo ông đi chiến trận, bị Đông Ngô bắt giết cùng ông năm 219.[34] Quan Hưng lớn lên ở Ích Châu, được Gia Cát Lượng yêu mến, cất nhắc làm Thị trung và Trung giám quân.

Con trưởng mất sớm, con thứ lại theo nghiệp quan văn, võ công của Quan Vũ chẳng còn người kế nghiệp. Quan Bình chết trận, Quan Hưng cũng chỉ làm quan được một thời gian rồi qua đời sớm.[35] Quan Vũ còn một người con gái là Quan Phụng, còn gọi là Quan Ngân Bình. Cô được Quan Vũ gọi là “Hổ Nữ” bởi thừa hưởng toàn bộ uy phong vũ dũng từ cha, dù là thân nữ nhi nhưng 18 tuổi cô đã sớm được Gia Cát Lượng tin dùng, đem theo phò trợ mình thảo phạt Nam Man. Lại thêm dung mạo cô rất xinh đẹp nên Tôn Quyền từng định hỏi cho con trai mình để kết thông gia nhưng ông từ chối.

Trong tiểu thuyết Tam Quốc diễn nghĩa, Quan Vũ còn có người con trai thứ ba tên là Quan Sách. Nhân vật hư cấu này từng tham gia Nam chinh chống Mạnh Hoạch cùng với Gia Cát Lượng. Bào Tam Nương và Hoa Man đều là vợ Quan Sách, con dâu Quan Vũ. Bào Tam Nương tính tình cởi mở, theo chồng trong suốt thời gian lưu lạc, trên chiến trường dũng mãnh không thua gì nam nhi. Còn Hoa Man là con gái Mạnh Hoạch và Chúc Dung, võ nghệ cao cường, phải lòng Quan Sách trên chiến trường, sau cật lực thúc đẩy việc hai bên đình chiến rồi được gả làm vợ Quan Sách.

Con trưởng Quan Hưng là Quan Thống làm tới chức Hổ bôn trung lang tướng, cũng mất sớm không có con trai. Người con thứ của Quan Hưng là Quan Di, sau khi Quan Thống mất được tập tước Hán Thọ đình hầu.

Khi Thục Hán diệt vong (264), con Bàng Đức là Bàng Hội theo Chung Hội vào Tây Xuyên, đã tìm hết nhà họ Quan ở Thành Đô tàn sát để trả thù cho cha, dòng họ Quan Vũ từ đó bị diệt vong.[35]

Tuy nhiên, theo "Quan thị gia phổ" thì một số con cháu của Quan Di đã kịp bỏ trốn và đổi thành họ Môn để tránh họa, đến đời Tây Tấn mới lấy lại họ Quan. Hậu duệ Quan Vũ có nhiều người tài giỏi nổi tiếng, như: Quan Lang - đại thần đời Bắc Ngụy, Quan Khang Chi - danh nho đời Nam triều, Quan Phiên - tể tướng đời Đường... Đến năm 2010, ông Quan Trung Kim, hậu duệ đời thứ 67 của Quan Vũ, trú tại thị trấn Hoàng Sơn Đầu (huyện Công An, tỉnh Hồ Bắc) là người đang giữ bộ gia phả khổng lồ "Quan thị gia phổ". Bộ gia phả trải suốt gần 1.900 năm này được tu bổ vào đời Càn Long nhà Thanh, chỉnh lý lần cuối vào năm 1932, gồm 12 quyển. Ông Quan Anh Tài - cháu đời thứ 72 - là cự phú công thương Đông Nam Á và là Chủ tịch Tổng hội Long Cương quốc tế (thành viên gồm các hậu duệ của Lưu Bị, Quan Vũ, Trương Phi và Triệu Vân).